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(54) Title: DEVICE AND METHOD FOR RECOGNIZING TRAFFIC SIGNS 

(54) Bezeichnung: VORR ICHTUNG UND VERFAHREN ZUR VERKEHRSZEICHENERKENNUNG 
(57) Abstract 

The invention relates to a method 
and a device enabling traffic signs to be "j 
recognized in a reliable, cost-effective 
manner requiring as little computing 
power as possible and allowing them 
to be displayed to an observer in the 
form of a memory aid. The reject rate 
with respect to the recognition of objects 
that are recognized as traffic signs 
remains low. According to the invention, 
image data from an image sensor is 
analyzed and classified in an information 
processing unit. Image sections and/or 
image data corresponding to a symbolic 
representation stored in a memory unit 
is/are archived in a memory unit and 
represented by means of a display unit on 
the basis of classification results. When 
the image data is further processed, 
the extracted objects are separated into 
specific classes and sub-classes of traffic-signs and classified 
and displayed by means of a display unit. 




A synthetic image of a traffic sign is generated, stored in a memory unit 



(57) Zusammenfassung 



Die Erfindung bcschreibt ein Verfahren und cine Vorrichtung, die es erlaubt zuverlassig, mit mdglichst geringer Rechenleistung 
und damit kostengilnstig Verkehrszeichen zu erkennen und als Erinnerungshilfe einem Beobachter anzuzeigen. Hierbei wird die 
Riickweisungsquote im Rahmen der Erkennung der als Verkehrszeichen identifizierten Objekte gering gehalten. Hierzu werden die Bilddaten 
eines Bildsensors in einer Informationsverarbeitungseinheit analysiert und klassifiziert und auf Grundlage des Ergebnisses einer Klassifikation 
werden Bildausschnitte und/oder in einer Speichereinheit gespeicherte, eine symboiische Darstellung reprasentierende Bilddaten, in einer 
Speichereinheit abgelegt und mittels einer Anzeigeeinheit dargestellt. Bei der Weiterverarbeitung der Bilddaten werden die extrahierten 
Objekte in verkehrszeichenspezifische Oberklassen und Unterklassen separiert und klassifiziert. Im AnschluG wird ein synthetisches Bild 
eines Verkehrszeichens generiert, in einer Speichereinheit gespeichert und mittels der Anzeigeeinheit zur Anzeige gebracht. 
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Vorrichtung und Verfahren zur Verkehrszeichen erkennung 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Verkehrszeichenerkennung 
gemaB der Oberbegriffe der Patentanspriiche 1 und 29. 

Der Verkehr auf StraBen, Schienenwegen, WasserstraBen und Rollfeldern wird durch 
Verkehrszeichen geregelt. Die durch ein Verkehrszeichen referenzierte Verkehrsregel 
5 hat haufig einen raumlichen Gultigkeitsbereich, der sich uber Abschnitte des Fahrweges 
erstreckt, von denen aus der Fahrzeugfuhrer das Verkehrszeichen nicht einsehen kann. 
Solche Abschnitte werden zum Beispiel durch ein Verkehrszeichen, das den Beginn der 
Regelanwendung kennzeichnet, und durch ein weiteres Verkehrszeichen, das die Aufhe- 
bung der Regelanwendung kennzeichnet, markiert. Fur den Fahrzeugfuhrer ist demnach 
10 eine Erinnerungshilfe sehr vorteilhaft, die ihm auch Informationen uber den Aussage- 
gehalt von Verkehrszeichen liefert (zu welcher Regelbefolgung wird aufgefordert), an 
denen er bereits vor langerer Zeit vorbeigefahren ist. 

Im bisherigem Stand der Technik werden Vorrichtungen und Verfahren vorgeschlagen, 
die das Ziel verfolgen, den Aussagegehait eines Verkehrszeichens vollstandig zu extra- 
15 hieren. 
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Beispielsweise wird in der Patentschrift DE36 19B24C2 eine Vorrichtung als 
Erinnerungshilfe fur den Fahrzeugfuhrer vorgeschlagen, die 
Geschwindigkeitsbeschrankungen durch Verkehrszeichen erfaBt und fur die Dauer ihrer 
GOItigkeit im Fahrzeuginnenraum anzeigt. Diese Vorrichtung beinhaltet einen 
Bildsensor, eine Informationsverarbeitungseinheit, eine Speichereinheit und eine 
Anzeigeeinheit. Mitteis des Bildsensors werden Bilder von der dem Fahrzeug 
vorausliegenden Fahrbahn aufgenommen. Mitteis der Informationsverarbeitungseinheit 
werden in diesen Bildern in Echtzeit Verkehrszeichen gesucht und bei Erkennung eines 
Verkehrszeichens wird dessen Aussagegehalt, hier die Geschwindigkeitsbeschrankung, 
extrahiert. Der extrahierte Wert der zulassigen Hochstgeschwindigkeit wird in der 
Speichereinheit gespeichert und fur die Dauer der Gultigkeit, d.h. bis zur Erkennung 
eines aufhebenden Verkehrszeichens, mitteis der Anzeigeeinheit angezeigt. 

Der Nachteil dieser Vorrichtung besteht in der hohen Ruckweisungsquote nicht 
erkannter Verkehrszeichen und in ihren hohen Kosten. Die tatsachliche Erkennung 
eines bestimmten Verkehrszeichens, d.h. die Extraktion seines vollstandigen Aussage- 
gehaltes, mit ausreichend hoher Wahrscheinlichkeit erfordert moglichst farbige Bilder 
mit einer moglichst hohen Auflosung (Janssen et al. f "Hybrid Approach for Traffic Sign 
Recognition", Proc. Intelligent Vehicle Symposium, Tokio, Japan, pp. 390-395, 1993). 
Die Auswertung solcher Bilder in Echtzeit erfordert eine sehr hohe Rechenleistung. 
Derart leistungsstarke Bildsensoren und Informationsverarbeitungseinheiten sind teuer. 
Und selbst mit ihnen liegt die Ruckweisungsquote gangiger 
Verkehrszeichenerkennungssysteme in der GroRenordnung von einigen Prozenten. 
Solche Ruckweisungsquoten konnen aus Gewahrleistungsgrunden nicht toleriert 
werden. 

Um die Anforderung an. die Rechenleistung zu minimieren wird in der Schrift 
DE197 36 774A1 vorgeschlagen, da(3 nach der Detektion eines • Verkehrszeichens 
innerhalb eines Kamerabildausschnittes dieses von dort extrahiert und angezeigt wird. 
Die Anzeige erfolgt ohne vorherige Auswertung nach dem Inhalt des Verkehrszeichens 
und ohne vorherige Klassifikation. Der Nachteil dieses Vorgehens ist in der Tatsache, 
da(5 keine Aufbereitung der Verkehrszeichenabbildung erfolgt zu sehen. Dies hat zur 
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Folge. daB bei schwierigen Sichtverhaltnissen der Betrachter erhdhter Aufmerksamkeit 
bedarf die ihm dargestellten Verkehrszeichen zu erkennen und zu deuten. 



Die Aufgabe der vorliegenden Erfindung besteht daher einerseits darin, ein Verfahren 
und eine Vorrichtung zu finden. die es erlauben zuverlassig, mit moglichst geringer 
Rechenleistung und damit kostengiinstig Verkehrszeichen zu erkennen und als 
Erinnerungshilfe einem Beobachter anzuzeigen. Hierbei soli die Ruckweisungsquote im 
Rahmen der Erkennung der als Verkehrszeichen identifizierten Objekte moglichst gering 
gehalten werden. 



10 



Die Erfindung ist in Bezug auf das zu schaffende Verfahren durch die Merkmale des 
Patentanspruchs 1 wiedergegeben. In weiteren Anspruchen (Patentanspruche 2 bis 21) 
sind vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemaBen Verfah- 
rens enthalten. 

15 Die Erfindung ist in Bezug auf die zu schaffende Vorrichtung durch die Merkmale des 
Patentanspruchs 22 wiedergegeben. In weiteren Anspruchen (Patentanspruche 23 
bis 40) sind vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemaBen 
Vorrichtung enthalten. 

in weiteren Anspruchen sind vorteilhafte Verwendungen der erfindungsgemaBen Vor- 
20 richtung (Patentanspruche 42 und 44) und des erfindungsgemaBen Verfahrens (Patent- 
anspruche 41 und 43) angegeben. 

Die Aufgabe wird durch ein Verfahren bzw. eine entsprechend gestaltete Vorrichtung 
gelost, bei welchem die Bilddaten des Bildsensors in einer 
25 informationsverarbeitungseinheit ana.ysiert und k.assifiziert und auf Grund.age des 
Ergebnisses einer Klassifikation Bildausschnitte und/oder in einer Speicheremhe.t 
gespeicherte, eine symbolische Darstellung reprasentierende Bilddaten in einer 
Speichereinheit ab.egt und. mitte.s einer Anzeigeeinheit darstellt. Hierbei wird im 
Rahmen der Analyse in der Informationsverarbeitungseinheit ermittelt, ob die Bilddaten 
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des Bildsensors ein oder mehrere Objekte enthalten, welche mit hinreichender 
Wahrscheinlichkeit Verkehrszeichen sind. In Folge werden die so ermittelten Objekte 
einer Weiterverarbeitung und Klassifikation zugefuhrt. In besonders vorteilhafter Weise, 
wird im Rahmen der Erfindung bei der Weiterverarbeitung der Bilddaten der Objekte 
5 eine Separierung in verkehrszeichenspezifische Oberklassen und Unterklassen 
vorgenommen. Dabei werden entsprechende klassenspezifische Merkmalsdaten 
extrahiert und einer getrennten Klassifikation zugefuhrt. Abhangig davon ob die 
klassenspezifischen Merkmalsdaten bei der Klassifikation mit hoher Wahrscheinlichkeit 
korrekt erkannt wurden, werden sie durch entsprechende in einer Speichereinheit 

10 gespeicherte, die symbolische Darstellung reprasentierende Bilddaten oder durch die 
entsprechenden ursprungliche vom Bildsensor stammenden Bilddaten ersetzt. Die aus 
dieser Ersetzung resultierenden Bilddaten werden zu einem synthetischen Bild eines 
Verkehrszeichens kombiniert und dieses Bild dann in der Speichereinheit gespeichert 
und mittels der Anzeigeeinheit zur Anzeige gebracht. 

15 Ein wesentlicher Vorteil der Erfindung besteht darin, daB mit ihr nicht mehr das 
rechenaufwendige und mit hohen Ruckweisungsquoten behaftete Problem der 
Klassifikation eines in seiner Gesamtheit recht komplexen Verkehrszeichen gelost 
werden muB, sondern das Problem wird durch die der Klassifikation vorangegangene 
Separierung der detektierten Objekte in verkehrszeichenspezifische Oberklassen und 

20 Unterklassen auf eindeutigere und somit einfachere Klassifikationsprobleme 
zuruckgefuhrt. Hierbei werden gleichermaBen die Anforderungen an die notwendige 
Rechenleistung und Bildqualitat reduziert. 

Beispielhaft soil hier anhand von Figur 1 die Aufteilung eines Verkehrszeichens in 
verkehrszeichenspezifische Oberklassen 1 und Unterklassen 2 erlautert werden. Es 

25 handelt sich bei dem in Figur 1 dargestellten Verkehrszeichen urn ein 
Geschwindigkeitsbegrenzungszeichen. Die verkehrszeichenspezifische Oberklasse 1 
dieses Verkehrszeichen ist die Klasse der Verbotszeichen, welche als Merkmalsdaten 
eine Runde Form mit einem innenliegenden Symbol aufweisen. Im speziellen Fall eines 
Geschwindigkeitsbegrenzungszeichens ist das innenliegende Symbol eine Zahl welche 

3 0 von einem breiten, roten Ring umschlossen ist. Im Fall des 
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Geschwindigkeitsbegrenzungszeichens ist das innenliegende Symbol, d.h. die Angabe 
auf welche Geschwindigkeit eine Fahrgeschwindigkeit zu begrenzen ist, ein Element der 
verkehrszeichenspezifischen Unterklasse 2. 

Eine andere wichtige Gruppe von Verkehrszeichen bilden die Warnzeichen. Hier ist die 
5 verkehrszeichenspezifische Oberklasse 1 durch die dreieckige Form des 
Verkehrszeichens und ein innenliegendes Gefahrensymbol, welches von einem breiten, 
roten Dreieck umschlossen ist, definiert. Die Elemente der verkehrszeichenspezifischen 
Unterklasse 2 werden durch die innenliegenden Gefahrensymbole gebildet. 

10 ErfindungsgemaB soil nun mit vergleichsweise geringer Rechenleistung und geringem 
apparativen Aufwand (beispielsweise einer Monochromkamera anstatt einer hochauf- 
losenden Farbkamera) in Echtzeit nachgepriift werden, ob es sich bei einem Objekt 
bestimmter Form innerhalb des aufgenommenen Bildes urn ein Verkehrszeichen 
handelt. Ist dies der Fall, so werden die klassenspezifischen Merkmalsdaten des 

15 Objekts einer getrennten Klassifikation zur Identifikation des Verkehrszeichens 
zugefuhrt. 

In einer vorteilhaften Ausgestaltung der Erfindung kommt zur Identifikation des 
Verkehrszeichens ein hierarchisch organisierter Klassifikator zum Einsatz. Die 
Klassifikation erfolgt dabei in mehreren Stufen. Hierzu werden zuerst nur die der 

2 0 Oberklasse des Objektes zugehdrigen Merkmalsdaten einer Klassifikation zugefuhrt. Bei 

erfolgreicher Klassifikation (d.h. die Klasse konnte mit hoher Wahrscheinlichkeit korrekt 
erkannt werden) werden die Merkmalsdaten durch die entsprechende in der 
Speichereinheit gespeicherte symbolische Darstellung der Oberklasse ersetzt. Blieb die 
Klassifikation erfolglos (d.h. die Klasse konnte nicht mit hoher Wahrscheinlichkeit 
25 korrekt erkannt werden) werden die Merkmalsdaten der Oberklasse und die 
Merkmalsdaten der Unterklasse durch die entsprechenden urspriinglichen vom 
Bildsensor stammenden Bilddaten ersetzt und die Klassifikationprozedur wird beendet. 
Ein weiterer Schritt innerhalb der Klassifikationsprozedur wird dann eingeleitet, wenn 
die Klassifikation der Oberklasse erfolgreich war. In diesem Fall werden nachfolgend die 

3 0 der Unterklasse des Objektes zugehorigen Merkmalsdaten einem Klassifikator 
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zugefOhrt. Bei erfolgreicher Klassifikation dieser Unterklasse (d.h. die Klasse konnte mit 
hoherWahrscheinlichkeit korrekt erkannt werden) werden die Merkmalsdaten durch die 
entsprechende in der Speichereinheit gespeicherte symbolische Darstellung der. 
Unterklasse ersetzt. Andererseits werden bei erfolgioser Klassifikation (d.h. die Klasse 
5 konnte nicht mit hoher wahrscheiniichkeit korrekt erkannt werden) die Merkmalsdaten 
der Unterklasse durch die entsprechenden ursprunglichen vom Bildsensor stammenden 
Bilddaten ersetzt. 

Mit diesem hierarchischen Vorgehen wird eine Verkehrszeichenerkennung mit geringer 
RGckweisungsquote zur Verfiigung gestellt. Dabei konnen die beiden hierarchischen 

10 Stufen zur Identifikation der Oberklasse beziehungsweise zur Identifikation der 
Unterklasse selbst wieder hierarchisch organisiert sein. Bezuglich der Gestaltung der 
innerhalb der hierarchischen Klassifikation eingesetzten Klassifikatoren ist es denkbar, 
diese so zu gestalten, daB sie auf Grundlage eines Vergleichs von DistanzmaBen der 
ihnen gelieferten Merkmalsdaten von in der Speichereinheit gespeicherten 

15 klassentypischen Merkmalsdatensatzen entscheiden. Hierbei wird das als 
Verkehrszeichen identifizierte Objekt jener Oberklasse zugeordnet, zu welcher die 
Distanz im Merkmalsraum am geringsten ist. Es ist dabei moglich eine Toleranzschwelle 
zu definieren der mit dem minimalen Distanzwert verglichen wird, wobei das 
Unterschreiten des Toleranzwertes durch den Distanzwert als Hinweis auf eine mit 

2 0 hoher Wahrscheiniichkeit korrekt erfolgte Erkennung dient. In einer anderen 

vorteilhaften Ausgestaltung ist es auch moglich die. Klassifikatoren so zu gestalten, daB 
sie mit Hilfe von verkehrszeichenspezifischen Lernstichproben trainiert werden konnen. 
Dieses Vorgehen ist besonders vorteilhaft, da die Qualitat der von dem Bildsensor 
gelieferten Bilddaten stark von Umweltfaktoren wie Wetter und Lichtverhaltnissen 
25 abhangig sind. 

Fur den Fall, daB bei der Analyse der Bilddaten des Bildsensors ein an dem 
Verkehrseichen angebrachtes Zusatzschild erkannt wurde, kann in einer moglichen 
Ausgestaltung der Erfindung dieses dann auf der Anzeigeeinheit dargestellt werden, 
wenn im Rahmen der Klassifikation zumindest die Oberklasse des zugehorigen 

3 0 Verkehrszeichens mit hoher Wahrscheiniichkeit erkannt wurde. Die Anzeige des 
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Zusatzschildes ist aus dem Grund an die Bedingung- gekoppe.t, daB zumindest d,e 
Oberk.asse des zugehorigen Verkehrszeichens erkannt wurde, um bei uneindeut.ger 
identifikation des Verkehrszeichens den Beobaohter nicht auch noch mit einer 
Zusatzinformation zu belasten. Es ist auch davon auszugehen, daB be, 
Sichtverhaltnissen, welche eine eindeutige Klassifikation des Verkehrszeichens nicht 
mehr zulassen, es auch nicht moglich ist die .nformation, welche auf dem Zusatzsch.ld 
dargeboten wird auszuwerten. Sol. der notwendige Aufwand bezug.ich der 
Erkennungsleistung weiter minimiert werden, so ist es auch moglich nicht mehr exphz.t 
die Bilddaten auf Zusatzschilder hin zu ana.ysieren, sender einfach in dem Fall, daB .m 
Rahmen der K.assifikation zumindest die Oberk.asse eines Verkehrszeichens erkannt 
wurde mittels der Anzeigeeinheit diejenigen Bilddaten angezeigt werden, die von dem 
Bereich aus der Umgebung des Verkehrszeichens stammen. in we.chem s.ch 
k,assenspezifisch ein Zusatzschi.d befinden wurde. Hierbei sol. keine Uberprufung auf 
die tatsach.iche Existenz eines solchen Zusatzschildes vorgenommen werden. Um be, 
5 einer derartigen Ausgesta.tung der Erfindung die Anzah. von Anzeigen, welche ke.ne 
sinnvolle Information (z.B. es ist tatsach.ich kein Zusatzschi.d vorhanden) enthalten, zu 
minimieren ist es vorstellbar auf einfache Weise eine rechen-extensive K.assifikation zu 
implementieren, we.che offensicht.ich nutzlose Bi.dinformation verwirft und n.cht zur 
Anzeige bringt. 

0 Die Analyse der vom Bildsensor gelieferten Bilddaten bezuglich des Vorhandenseins von 
einem oder mehreren Objekten, welche mit hinreichender Wahrscheinlichke.t 
Verkehrszeichen sind, kann in einer moglichen Ausgestaltung der Erfindung ,n zwe, 
Verfahrensschritte geglieder, werden. In einem eraten Schrit. werden, vorzugswe.ae 
anhand von Farbwerten und/oder raumlichen Poai.ionan, die Bildbereicbe ermittelt 

5 welche mit Oberdurchschnittlicher Wahrscheinlichkeit Verkehrszeichen enthalten 
konnten. Diese Bareiche (Regiona of Interest) werden in einem zwe.ten 
Verfahrensschritt ainar gaome.rischen Analyse unterzegen. welche aich vorzugswe.se. 
Korrelationsvarfahren bedient. um Objekte zu ermitteln, welche vorgegebene Formen 
besitzen. Bei dar Varkehrazeichenerkennung interessieren hierbei insbeaondera runde 

1 o (Gebotsschilder) und eckige (Warnschilder) Formen. 
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Es ist weiterhin denkbar das erfindungsgemaBe Verfahren dahingehend zu optimieren, 
daB aus einer Abfolge von Bildern, die wahrend der Vorbeifahrt des Fahrzeugs an einem 
als Verkehrszeichen erkannten Objekt aufgenommen werden, jeweils das beste Bild 
ausgewahlt wird. Dabei wird die Auswahl anhand definierter Qualitatskriterien 
5 durchgefuhrt, welche sich vorzugsweise an der GroBe und/oder dem Kontrast und/oder 
der Helligkeit der Bilddaten des Objektes orientieren. Nur das mittels dieser Bilddaten 
generierte synthetische Bild eines Verkehrszeichens wird in der Speichereinheit 
gespeichert und mittels der Anzeigeeinheit angezeigt. 

Ein Vorteil einer derartigen Ausgestaltung besteht darin, daB so einerseits Speicherplatz 
10 gespart wird und andererseits dem Beobachter an Stelle eines schnellen Anzeigen- 
wechsels des gleichen Verkehrszeichens in unterschiedlicher Qualitat ein gleichbleibend 
gutes Bild des Verkehrszeichens angezeigt wird. Dadurch wird seine Aufmerksamkeit 
nicht abgelenkt, sondern steht ungeteilt dem Verkehr und dem tatsachlichen 
Aussagegehalt des Verkehrszeichens zur Verfugung. 

15 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal des genannten Verfahrens besteht 
darin, daB die Bildbereiche, die zeichenspezifische Merkmalsdaten enthalten, vor Ihrer 
Anzeige derart aufbereitet werden, daB sie besser erkennbar sind. Dies ist unter. 
anderem moglich durch Normierung von GroBe und/oder Kontrast und/oder Helligkeit 

2 0 und Oder Farbton. Ein Vorteil einer derartigen Ausgestaltung besteht darin, daB so dem 

Fahrzeugfuhrer die Erkennung eines speziellen Verkehrszeichens erleichtert wird. 

Vorteilhaft wirkt es sich bei der Erfindung aus, wenn mittels einer im System 
integrierten Positionsbestimmungseinheit die Position eines als Verkehrszeichen 
25 erkannten Objektes bestimmt wird. Diese Position kann dann zusatzlich zu dem 
synthetischen.Bild des Verkehrszeichens gespeichert werden. Es ist ebenfalls denkbar, 
ferner auch den Zustand und/oder die Sichtbarkeit und/oder die GroBe des jeweiligen 
Verkehrszeichen abzuspeichern. Dies ist insbesondere fur den Fall hilfreich, daB die 
Erfindung im Rahmen von einer Verkehrsraumuberwachung und -wartung eingesetzt 

3 0 wird. Es mag ebenso auch hilfreich sein, wenn auf die gespeicherten Daten 

zuruckgegriffen werden kann, fur den Fall daB sich Anderungen der Position 
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beziehungsweise des Zustandes eines Verkehrszeichen ergeben und hierauf der 
Beobachter mittels eines optischen oder akustischen Signals aufmerksam gemacht 
werden soil. 

5 In einer vorteilhaften Ausfuhrungsform der Erfindung ist in der Speichereinheit ein 
Programm zur Anwendung einer Entscheidungslogik gespeichert, mittels derer die Infor- 
mationsverarbeitungseinheit die Anzeigeeinheit derart steuert, daB sie die vereinfachte 
Darstellung eines als Verkehrszeichen erkannten Objektes solange anzeigt, bis ein 
neues Objekt als Verkehrszeichen erkannt wird, vorzugsweise als Verkehrszeichen der 

10 gleichen oder einer korrespondierenden Klasse erkannt wird, und dessen vereinfachte 
Darstellung die vorherige ersetzt. Der Vorteil dieser Ausgestaltung liegt darin, daB die 
Bildflache der Anzeigeeinheit dadurch sehr klein gestaltet werden kann, namlich der 
Flache der Darstellung eines einzelnen Verkehrszeichen entsprechend. Dies ist aus 
Grunden der Obersichtlichkeit und der generellen Begrenzung des in einem 

15 Fahrzeugcockpit zur Verfugung stehenden Raums vorteilhaft. 

Besonders vorteilhaft ist die vorzugsweise Ausgestaltung der Entscheidungslogik 
hinsichtlich eines Verkehrszeichens der gleichen oder einer korrespondierenden Klasse 
(Beispiel: die mit der Klasse der Geschwindigkeitsbeschrankungen korrespondierende 
2 0 Klasse ist die Klasse der Aufhebungen der Geschwindigkeitsbeschrankungen). Hier- 
durch wird zwar mehr Platz auf der Anzeigeeinheit bendtigt, aber dem Fahrer konnen so 
auch mehrere gleichzeitig gultige Verkehrszeichen angezeigt werden. Dabei wird jedoch 
ausgeschlossen, daB sich die Verkehrszeichen gegenseitig aufheben und so unnotig 
Platz auf der Anzeigeeinheit beanspruchen. 

25 

In einer weiteren vorteilhaften Ausbildung der Erfindung besitzt die Anzeigeeinheit 
zusatzlich eine Einstelleinheit, mittels welcher die maximale Dauer der Anzeige der 
Darstellung des synthetischen Bildes eines Verkehrszeichen eingestellt wird. Dadurch 
kann der Fahrzeugfuhrer die Dauer der Anzeige seinen personlichen Bedurfnissen und 
3 0 Vorlieben gemaB anpassen. AuBerdem wird die Teilung seiner Aufmerksamkeit zwischen 
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dieser Anzeigeeinheit und anderen wichtigen Anzeigen mn Fahrzeugcockpit sowie dem 
auBeren Verkehrsgeschehen auf die Dauer der Anzeige begrenzt. 

In einer weiteren moglichen die Anzeige der Verkehrszeichen betreffenden Ausfuhrung 
der Erfindung ist in der Speichereinheit ein Programm gespeichert ist, welches die 
zuruckgelegte Wegstrecke zwischen der aktuellen Fahrzeugposition und der Position 
des zuletzt erkannten Verkehrszeichens einer bestimmten Klasse von Verkehrszeichen 
mit Hilfe von mit an die Informationseinheit gekoppelten Einrichtungen oder Sensoren, 
ermittelt. Zur Ermittlung der Wegstrecke dienen vorzugsweise ein Fahrzeugtachometer 
oder ein Radsensor zur Ermittlung der zuruckgelegten Strecke und ein Zeitgeber, welche 
an die Informationseinheit gekoppelt sind, wobei es denkbar ist die Ankopplung unter 
Ruckgriff auf einen oftmals in Fahrzeugen bereits vorhandenen Fahrzeugdatenbus zu 
realisieren. Es ist nun moglich durch ein in der Speichereinheit gespeichertes 
Programm, welches die Anwendung einer Entscheidungslogik zulaBt, die 
Informationsverarbeitungseinheit zu veranlassen die Anzeigeeinheit derart zu steuern, 
daB sie das synthetische Bild eines Verkehrszeichens genau so lange anzeigt, bis eine in 
der Speichereinheit vorgegebene Wegstrecke zuruckgelegt ist, welche vorzugsweise 
klassenspezifisch ist. Andererseits ist es auch denkbar in der Speichereinheit ein 
Programm zu speichern, welches zur Anwendung einer Entscheidungslogik mittels derer 
die Informationsverarbeitungseinheit die Anzeigeeinheit so steuert, daB sie das 
synthetische Bild eines Verkehrszeichens solange anzeigt, bis ein neues Objekt als 
Verkehrszeichen durch den Klassifikator erkannt wird, vorzugsweise als 
Verkehrszeichen der gleichen oder einer korrespondierenden Klasse, und dessen 
synthetische Bilddarstellung die vorherige ersetzt. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal der Erfindung besteht darin, daB die 
Anzeigeeinheit zusatziich einen akustischen Signalgeber enthalt, welcher, sobald ein 
Objekt als Verkehrszeichen erkannt wurde, ein vorzugsweise klassenspezifisches, 
akustisches Signal ausgibt. Der Vorteil dieser Ausgestaltung besteht in der erhohten 
Sicherheit der Wahrnehmung des Verkehrszeichens durch den Fahrzeugfuhrer. 
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Ein weiteres vorteilhaftes Ausgestaitungsmerkmal der Erfindung besteht darin, daS der 
digitale Bildsensor eine oder mehrere, vorzugsweise monochrome, Digitalkameras 
enthalt, die derart angeordnet sind, daB ihr gemeinsames Blickfeld ausreicht, um a He fur 
den Fahrweg eines Fahrzeuges relevanten Verkehrszeichen unabhangig von der 
5 horizontalen und/oder vertikalen Krummung des Fahrweges zu erfassen. Eine derartige 
Anordnung der Kameras gewahrleistet die sichere Aufnahme alter Verkehrszeichen 
entlang der Fahrtstrecke. Monochrome Kameras sind fur die Funktionstuchtigkeit der 
Vorrichtung ausreichend, bei gleicher Aufiosung aber deutlich kostengunstiger als eine 
Farbkamera oder besitzen bei gleichem Preis eine deutlich hohere Aufiosung. 

10 Eine besonders vorteilhafte Ausgestaltung der Erfindung ergibt sich wenn man das 
System zur Verkehrszeichenerkennung, mit mindestens einem kartenbasierten 
Navigationssystem und/oder einem Verkehrsinformationssystemen verbindet, so daB 
von dort stammende informationen bei der Erkennung und/oder der Anzeige von 
Inhalten von Verkehrszeichen ausnutzt werden konnen. In einer denkbaren 

15 Ausfuhrungsform, wird die Kommunikation zwischen den Systemen uber den 
Fahrzeugbus realisiert. 

In vorteilhafter Weise kann so das System zur Erkennung von Verkehrszeichen auf 
erhohte Leistung geschaltet werden, wenn auf Grundlage von Informationen wie sie von 
kartenbasierten Navigationssystem und/oder einem Verkehrsinformationssystemen 
2 0 bekannt werden, daB das Fahrzeug einen Bereich passiert, der bezuglich einer 
zuverlassigen Erkennung von Verkehrszeichen problematisch ist. Beispiele solcher 
besonders zu berucksichtigender Bereiches sind unter anderem Ortseingange und 
Ortsausgange. Dort befinden sich Ortseingangs- und Ortsausgangstafeln, welche 
Geschwindigkeitsbeschrankungen, bzw. Aufhebungen dieser Beschrankungen 

2 5 implizieren. Die Tafeln sind jedoch nicht wie ublich kreisrund, sondern rechteckig. Die 

Tafeln enthalten sind leicht mit Werbetafeln zu verwechseln, insbesondere dann, wenn 
die Verkehrszeichenerkennung mittels monochromer Kameras durchgefuhrt wird, da 
hier die relativ signifikante gelbe Farbung der Tafeln nicht zur notwendigen Geltung 
kommt. Ein weiterer besonders zu berucksichtigender Bereich ist im Umfeld von 

3 0 Verkehrsbeeinflussungsanlagen und Wechselschildern gegeben. Hier muB mit 
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gesonderten Darstellung und Auspragung der Verkehrszeichen gerechnet werden, so 
z.B. mit einer inversen Darstellung der Schwarz- und WeiBanteile der Verkehrszeichen 
aus Grunden besserer Nachtsichtbarkeit. Auch ist mit einem plotzlich auftretenden 
Wechsel oder Einschalten des Verkehrszeichensymbols zu rechnen, z.B, plotzliche 
5 Beschrankung auf Tempo 120km/h auf Autobahnen. Eine besondere Art von 
Verkehrszeichen stellen Ampeln dar. Prinzipiell sind sie mit einem Wechselschild 
vergleichbar, da sich auch der Zustand ihrer Anzeige andern kann und somit einer 
erhohten Aufmerksamkeit bedarf. Durch kartenbasierte Information ist es jedoch 
moglich das System zur Verkehrszeichenerkennung in Bereichen von Ampelanlagen 
10 (z.B.: Kreuzungen, Bahnubergange) mit erhohter Erkennungsleistung zu betreiben. 

Wahrend die vorangegangen Beispiele hauptsachlich in alleinigem Zusammenspiel mit 
Informationen von kartenbasierten Navigationssystemen zu sehen sind, werden 
nachfolgen beispielhaft Situationen dargestellt, bei denen erhohte Erkennungsleistung 
gefordert wird und welche gewinnbringend mit Informationen die von 
15 Verkehrsinformationssystem stammen verknupft werden. Dies ist im wesentlichen die 
Information, daB in einem bestimmten vom Fahrzeug befahrenen Bereich schlechte 
Sicht durch Nebel oder Regen vorherrscht. In einer solchen Situation ist verstarkt mit 
kontrastarmen Bilddaten zu rechnen, so daB das System zur Verkehrszeichenerkennung 
vorzugsweise verstarkt auf eine Kontrastverbesserung der Bilddaten hinwirken sollte. 

2 0 Vorteilhaft wirkt sich auch die Einbeziehung von Stauwarnungen aus, da hier dem 

Beobachter fruhzeitig, in sinnvollem Abstand zur vorhanden Verkehrsstorung im 
Rahmen der Anzeige von Verzeichen ein Stausymbol dargeboten werden kann, ohne 
daB erste ein solches Verkehrszeichen passiert werden muB. 

Durch diese erfindungsgemaBe Moglichkeit die Verkehrszeichenerkennung temporar in 
25 ihrer Leistung zu variieren eroffnet die Moglichkeit eine Erkennung von Verkehrszeichen 
dkonomisch zu realisieren. Es ist auch in vorteilhafter Weise nicht notwendig ein 
System zur bereit zustellen, welches im normalen Betrieb mangelhaft ausgelastet ist 
und nur in kritischen Situationen voll ausgelastet wird. Sondern es wird die Moglichkeit 
eroffnet, mittels moderner Mulitprozessor-Datenverarbeitung im Ruckgriff auf die 

3 0 interne Fahrzeugdatenkommunikation und die in modernen Fahrzeugen in einer Vielzahl 
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vorhandene Datenprozessoren, die momentan freie, nicht ausgenutzte Rechnerleistung 
fur einen sinnvollen, okonomischen Einsatz zu nutzen. 

Ein weiteres vorteilhaftes Ausgestaltungsmerkmal der Erfindung besteht darin, daB in 
einem bereitgestellten Datenspeicher Informationen uber die Art und/oder die Position 
5 und/oder den Zustand und/oder die Sichtbarkeit und/oder die GroBe des erkannten 
Verkehrszeichens gespeichert wird. Dabei kann dieser Datenspeicher entweder dem 
kartenbasierten Navigationssystem bzw. dem Verkehrsinformationssystem zugeordnet 
sein, oder aber auch Bestandteit des Systems zur Verkehrszeichen Erkennung und/oder 
Anzeige sein. Durch die Kombination mit dieser Datenspeicherung kann der Beobachter 

10 durch ein akustisches oder optisches Signal darauf aufmerksam gemacht werden, dass 
sich entlang einer bereits einmal befahrenen Wegstrecke eine Anderung in Bezug auf 
die Position beziehungsweise des Vorhandenseins eines Verkehrszeichens ergeben hat. 
Dadurch ist es moglich einen Beobachter zum Beispiel auf baustellen-bedingte 
Verkehrsregelungen oder bei geanderter Vorfahrtsregelung im Kreuzungsbereich. In 

15 vorteilhafterweise wird gleichermaBen der Beobachter auch dann einen Warnhinweis 
erhalten, wenn das System zur Verkehrszeichenerkennung ein tatsachlich vorhandenes 
Verkehrszeichen nicht erkennen oder nur ungenugend klassifizieren konnte. 

Weiterhin wirkt sich bei der Erfindung positiv aus, daB auf Grundlage der 
kartenbasierten Positionsbestimmung die Moglichkeit eroffnet wird, ein Programm zur 

2 0 Anwendung einer Entscheidungslogik zu veranlassen, ein Verkehrszeichen so lange 
anzuzeigen, bis eine vorgegebene Wegstrecke zuruckgelegt ist. Diese vorgegebene 
Wegstrecke ist vorzugsweise klassenspezifisch und kann durch eine Speichereinheit zur 
Verfugung gestellt werden. Es ist beispielsweise in der Bundesrepublik Deutschland 
eine StraBenauffahrt gleichbedeutend mit einer impliziten. Aufhebung von Ge- und 

2 5 Verboten, wie Geschwindigkeitsbegrenzungen. Zudem mussen Geschwindigkeits- 
begrenzungen nach spatestens 3 km erneuert werden, ansonsten gelten sie als 
aufgehoben. Durch dieses erfindungsgemaBe Merkmal wird also erreicht, daB ein 
Verkehrszeichen, auch ohne explizite Aufhebung, nur so lange wie unbedingt notwendig 
angezeigt wird. 



WO 00/30056 



- 14 - 



PCT/DE99/03628 



Patentanspruche 

1 . Verfahren zur Erkennung und Anzeige von Verkehrszeichen, 

welches die Bilddaten eines Bildsensors in einer Informationsverarbeitungseinheit 
analysiert und klassifiziert und auf Grundlage des Ergebnisses einer Klassifikation 
Bildausschnitte und/oder in einer Speichereinheit gespeicherte, eine symbolische 
5 Darstellung reprasentierende Bilddaten in einer Speichereinheit ablegt und mittels einer 
Anzeigeeinheit darstellt, 

wobei im Rahmen der Analyse in der Informationsverarbeitungseinheit ermittelt wird, ob 
die Bilddaten des Bildsensors ein oder mehrere Objekte enthalten , welche mit 
hinreichender Wahrscheinlichkeit Verkehrszeichen sind, 

10 und in folge diese Objekte einer Weiterverarbeitung und Klassifikation zugefuhrt werden, 

dadurch gekennzeiehnet, 
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daB bei der Weiterverarbeitung der Bilddaten der Objekte eine Separierung in 
verkehrszeichenspezifische Oberklassen und Unterklassen vorgenommen wird, 

daB bei der Separierung entsprechende klassenspezifische Merkmalsdaten extrahiert 
werden, 

5 daB die klassenspezifischen Merkmalsdaten einer getrennten Klassifikation zugefuhrt 
werden, 

daB die klassenspezifischen Merkmalsdaten abhangig davon, ob sie bei der 
Klassifikation mit hoher Wahrscheinlichkeit korrekt erkannt wurde, durch entsprechende 
in einer Speichereinheit gespeicherte, die symbolische Darstellung reprasentierende 
10 Bilddaten oder durch die entsprechende ursprunglich vorn Bildsensor stammenden 
Bilddaten ersetzt werden, 

und die aus dieser Ersetzung resultierenden Bilddaten zu einern synthetischen Bild eines 
Verkehrszeichens kombiniert werden und dieses Bild in der Speichereinheit gespeichert 
und in der Anzeigeeinheit zur Anzeige gebracht wird. 

15 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB die Klassifikation 
hierarchisch, in mehreren Klassifikationsstufen erfolgt. 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daB die Klassifikationsstufen 
. im wesentlichen wie folgt gegliedert sind: 

2 0 a) zuerst werden nur die der Oberklasse des Objektes zugehorigen 

Merkmalsdaten einem Klassifikator zugefuhrt , 

aa) bei erfolgreicher Klassifikation (die Klasse konnte mit hoher 
Wahrscheinlichkeit korrekt x erkannt werden) werden die 
Merkmalsdaten durch die entsprechende in der Speichereinheit 

2 5 gespeicherte symbolische Darstellung der Oberklasse ersetzt. 

ab) bei erfolgloser Klassifikation (die Klasse konnte nicht mit hoher 
wahrscheinlichkeit korrekt erkannt werden) werden die 
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Merkmalsdaten der Oberklasse und die Merkmalsdaten der 
Unterklasse durch die entsprechenden ursprunglichen vom Bildsensor 
stammenden Bilddaten ersetzt. 

b) war die Klassifikation der Oberklasse erfolgreich, werden nachfolgend die 
5 der Unterklasse des Objektes zugehdrigen Merkmalsdaten einem 

Klassifikator zugefuhrt, 

ba) bei erfolgreicher Klassifikation (die Klasse konnte mit hoher 
Wahrscheinlichkeit korrekt erkannt werden) werden die 
Merkmalsdaten durch die entsprechende in der Speichereinheit 

10 gespeicherte symbolische Darstellung der Unterklasse ersetzt. 

bb) bei erfolgloser Klassifikation (die Klasse konnte nicht mit hoher 
wahrscheinlichkeit korrekt erkannt werden) werden die 
Merkmalsdaten der Unterklasse durch die entsprechenden 
ursprunglichen vom Bildsensor stammenden Bilddaten ersetzt. 

15 4. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB 
die bei der Klassifikation zum Einsatz kommenden Klassifikatoren mittels 
exemplarischen Lernstichproben trainiert werden. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, daB 
die bei der Klassifikation zum Einsatz kommenden Klassifikatoren auf Grundlage eines 

2 0 Vergleichs von DistanzmaBen der ihnen gelieferten Merkmalsdaten von in der 
Speichereinheit gespeicherten klassentypischen Merkmalsdatensatzen entscheiden. 

6. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB fur den 
Fall, daB im Rahmen der Analyse der Bilddaten des Bildsensors ein an dem 

25 Verkehrszeichen angebrachtes Zusatzschild erkannt wurde, dieses auf der 
Anzeigeeinheit dargestellt wird, wenn bei der Klassifikation zumindest die Oberklasse 
des Verkehrszeicheos mit hoher Wahrscheinlichkeit erkannt wurde. 
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7. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB fur den 
Fall, daB im Rahmen der Klassifikation zumindest die Oberklasse eines Verkehrszeichens 
erkannt wurde, mittels der Anzeigeeinheit diejenigen Bilddaten angezeigt werden, die 
von dem Bereich aus der Umgebung des Verkehrszeichens stammen, in welchem sich 

5 typischerweise ein Zusatzschild befindet. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daB der anzeige der Bilddaten 
eine Klassifikation vorangestellt wird, welche offensichtlich nutzlose Bildinformation 
verwirft und nicht zur Anzeige bringt. 

10 9. Verfahren nach einem Anspruche 1 bis 8, dadurch gekennzeichnet, daB im Rahmen 
der Analyse in der Informationsverarbeitungseinheit wahrend welcher ermittelt wird, ob 
ein Bild ein oder mehrere Objekte enthalt, welche mit hinreichender Wahrscheinlichkeit 
Verkehrszeichen sind, in zwei Verfahrensschritte gegliedert ist, dergestalt daB 

a) in einem ersten Verfahrensschritt Bildbereiche ermittelt werden, 
15 vorzugsweise anhand von Farbwerten und/oder raumlichen Positionen, 

welche mit uberdurchschnittlicher Wahrscheinlichkeit Verkehrszeichen 
enthalten, 

b) und in einem zweiten Verfahrensschritt in diesen Bildbereichen mittels 
geometrischer Analyse, vorzugsweise mittels Korrelationsverfahren, Objekte 

2 0 ermittelt werden, welche eine vorgegebene, vorzugsweise runde oder 

dreieckige, Form besitzen. 

10. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB aus einer Abfolge von Bildern, die wahrend der Vorbeibewegung des Fahrzeugs an 
2 5 einem als Verkehrszeichen erkannten Objekt aufgenommen werden, jeweils das beste 
Bild ausgewahlt wird, wobei die Auswahl anhand definierter Qualitatskriterien 
durchgefuhrt wird, vorzugsweise anhand von GroBe und/oder Kontrast unci/oder 
Helligkeit des als Verkehrszeichen erkannten Objektes, und nur die auf Grundlage 
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dieses besten Bildes generierte synthetische Bild eines Verkehrszeichens in der 
Speichereinheit gespeichert und auf der Anzeigeeinheit angezeigt wird. 

1 1. Verfahren nach einem der vorhergehenden Anspruche dadurch gekennzeichnet, daB 
5 bei der Kombination der Bilddaten zu einem synthetischen Bild eines Verkehrszeichen, 

diejenigen Bilddaten, die den ursprunglich vom Bildsensor stammenden Bilddaten 
entsprechen, hinsichtlich einer besseren Erkennbarkeit aufbereitet werden, derart daB 
sie 

a) groBennormiert werden und/oder 
10 b) kontrastnormiert werden und/oder 

c) helligkeitsnormiert werden und/oder 

d) Farbtonnormiert werden. 

12. Verfahren nach einem der vorhergehenden Anspruche dadurch gekennzeichnet, daB 
15 zusatzlich die Position eines als Verkehrszeichen erkannten Objektes mittels einer 

Positionsbestimmungseinheit bestimmt wird. 

13. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB die Anzeigeeinheit von der Informationsverarbeitungseinheit durch ein in der 

2 0 Speichereinheit gespeichertes Programm zur Anwendung einer Entscheidungslogik 
derart gesteuert wird, daB sie das synthetische Bild eines Verkehrszeichens solange 
anzeigt, bis ein neues Objekt als Verkehrszeichen erkannt wird, und dessen vereinfachte 
Darstellung die vorherige ersetzt. 

14. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
2 5 daB mittels einer in der Anzeigeeinheit enthaltenen Einstelleinheit die maximale Dauer 

der Anzeige des synthetischen Bildes eines Verkehrszeichens eingestellt wird. 
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15. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB durch ein Programm in der Speichereinheit die zuruckgelegte Wegstrecke zwischen 
der aktuellen Fahrzeugposition und der Position des zuletzt erkannten Verkehrszeichens 
einer bestimmten Klasse von Verkehrszeichen mit Hilfe von an die Informationseinheit 

5 gekoppelten Einrichtungen oder Sensoren, ermittelt wird. 

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daB die Ermittlung der 
Wegstrecke durch einen an die Informationseinheit gekoppelten Fahrzeugtachometer 
oder einen Radsensor zur Ermittlung der zuruckgelegten Strecke und einen Zeitgeber 
erfolgt. 

10 17. Verfahren nach einem der Anspruche 15 und 16, dadurch gekennzeichnet, daB die 
Datenubertragung den an die Informationseinheit gekoppelten Einrichtungen und 
Sensoren zur Ermittlung der Wegstrecke uber einen Fahrzeugdatenbus erfolgt. 

18. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
15 durch ein in der Speichereinheit gespeichertes Programm eine Entscheidungslogik 

gesteuert wird, mittels derer die Informationsverarbeitungseinheit die Anzeigeeinheit 
derart lenkt, daB sie das synthetische Bild eines Verkehrszeichens solange anzeigt, bis 
ein neues Objekt als Verkehrszeichen erkannt wird, vorzugsweise als Verkehrszeichen 
der gleichen oder einer korrespondierenden Klasse erkannt wird, und dessen 
20 vereinfachte Darstellung die vorherige ersetzt. 

19. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, 
daB ein akustischer Signalgeber innerhalb der Anzeigeeinheit, sobald ein Objekt als 
Verkehrszeichen erkannt wurde, ein vorzugsweise klassenspezifisches, akustisches 

25 Signal ausgibt. 

20. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB durch eine geeignete Anordnung von einer oder mehrerer, vorzugsweise 
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monochromen Digitalkameras innerhalb des digitalen Bildsensors, alle fur den Fahrweg 
eines Fahrzeuges relevanten Verkehrszeichen unabhangig von der horizontalen 
und/oder vertikalen KrOmmung des Fahrweges erfaBt werden. 

21. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB das System zur Erkennung und Anzeige von Verkehrszeichen Informationen 
ausnutzt, welche von mindestens einem kartenbasierten Navigationssystem und/oder 
einem Verkehrsinformationssystem stammen. 

22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, daB das Systems zur 
Erkennung und Anzeige von Verkehrszeichen uber einen Fahrzeugdatenbus mit den 
kartenbasierten Navigationssystemen und/oder Verkehrsinformationssystemen 
kommuniziert. 

23. Verfahren nach Anspruch 21 oder 22, dadurch gekennzeichnet, daB das System zur 
Verkehrszeichenerkennung mit erhohter Leistung zu arbeiten beginnt, wenn auf 
Grundlage von kartenbasierten Informationen bekannt wird, daB das Fahrzeug. einen 
Bereich passiert, der bezuglich der Erkennung von Verkehrszeichen problematisch ist. 

24. Verfahren nach einem der Anspruche 21 bis 23, dadurch gekennzeichnet, daB 
innerhalb problematischer Bereiche zusatzlich gesonderter Erkennungsaufwand 
betrieben wird, derart daB 

a) im Bereich von Ortseingangen und Ortsausgangen, gesondert nach 
Ortseingangs- und Ortsausgangstafeln gesucht wird, 

b) im Bereich von Verkehrsbeeinflussungsanlagen, Wechselschildern oder 
Ampeln, gesondert auf einen Wechsel der Art und Weise der Auspragung des 
Verkehrszeichen geachtet wird, 

c) in einem Bereich, in welchem schlechte Sicht durch Nebel oder Regen 
vorherrscht verstarkt mit kontrastarmen Bilddaten gerechnet wird und dadurch 
vorzugsweise verstarkt auf eine Kontrastverbesserung der Bilddaten hingewirkt 
wird. 
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25. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB in einem im Gesamtsystem integrierten Datenspeicher zusatzlich oder erganzend zu 
eventuell bereits vorhandener Information, die Art und/oder die Position und/oder der 

5 Zustand und/oder die Sichtbarkeit und/oder die GroBe eines erkannten 
Verkehrszeichens gespeichert wird. 

26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, daB mittels eines in der 
Anzeigeeinheit enthaltenen Signalgebers ein akustisches oder optisches Signal 
ausgegeben wird, wenn sich entlang einer bereits einmal befahrenen Wegstecke eine 

10 Anderung bzgl. der Position beziehungsweise des Vorhandenseins eines 
Verkehrszeichens ergibt. 

27. Verfahren nach Anspruch 22, dadurch gekennzeichnet, daB die Informationen des 
kartenbasierten Navigationssystem dazu herangezogen werden, urn die Lange von durch 

15 ein Fahrzeug befahrene Streckenabschnitte zu ermitteln. 

28. Verfahren nach einem der Anspruche 15 bis 17 oder 27, dadurch gekennzeichnet, 
daB durch ein in der Speichereinheit gespeichertes Programm eine Entscheidungslogik 
gesteuert wird, mittels derer die Informationsverarbeitungseinheit die Anzeigeeinheit 
derart lenkt, daB sie das synthetische Bild eines Verkehrszeichens solange anzeigt, bis 

2 0 eine in der Speichereinheit vorgegebene Wegstrecke zuruckgelegt ist, welche 
vorzugsweise klassenspezifisch ist. 

29. Vorrichtung zur Erkennung und Anzeige von Verkehrszeichen, bestehend aus 

a) einem Bildsensor, 

2 5 b) einer Informationsverarbeitungseinheit, bestehend aus einem Analysator, 

einer Weiterverarbeitungseinheit und einem Klassifikator zur Verarbeitung 
der vom Bildsensor gelieferten Bilddaten, 
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c) einer Speichereinheit, welche symbolische Darstellungen 
reprasentierende Bilddaten enthalt und in welcher auf Grundlage des 
Ergebnisses der vom Klassifikator gelieferten Informationen, Bildausschnitte 
und/oder symbolische Darstellungen reprasentierende Bilddaten durch die 

5 Informationsverarbeitungseinheit gespeicherte werden 

d) und einer Anzeigeeinheit, auf welche die in der Speichereinheit 
gespeicherten Bilddaten zur anzeige gebracht werden konnen, 

wobei der Analysator ermittelt, ob ein Bild ein oder mehrere Objekte enthalt, welche mit 
hinreichender Wahrscheinlichkeit Verkehrszeichen sind und in folge diese einem 
10 Klassifikator zufuhrt, 

dadurch gekennzeichnet, 

daB die Weiterverarbeitungseinheit einen Separator enthalt, welcher die vom Analysator 
gelieferten Bilddaten in verkehrszeichenspezifische Oberklassen und Unterklassen 
separiert und klassenspezifische Merkmalsdaten extrahiert, welche anschlieBend einem 
15 Klassifikator zugefuhrt werden, 

daB der in der Informationsverarbeitungseinheit beinhaltete Klassifikator auf eine Weise 
aufgebaut ist, daB die klassenspezifischen Merkmalsdaten abhangig davon, ob sie bei 
der Klassifikation mit hoher Wahrscheinlichkeit korrekt erkannt wurden, durch 
entsprechende in einer Speichereinheit gespeicherte, die symbolische Darstellung 
2 0 reprasentierende Bilddaten oder durch die entsprechende ursprunglich vom Bildsensor 
stammenden Bilddaten ersetzt werden, 

daB die Informationsverarbeitungseinheit ein Element zur Kombination von Bilddaten 
enthalt, welches die aus dieser Ersetzung resultierenden Bilddaten zu einem 
synthetischen Bild eines Verkehrszeichens kombiniert und dieses Bild in der 
25 Speichereinheit speichert und mittels der Anzeigeeinheit zur Anzeige bringt. 
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30. Vorrichtung nach Anspruch 29, dadurch gekennzeichnet, daB der in der 
Informationsverarbeitungseinheit beinhaltete Klassifikator hierarchisch, in mehreren 
Stufen organisiert ist. 

31. Vorrichtung nach Anspruch 30, dadurch gekennzeichnet, daB der hierarchische 
5 Klassifikator eine erste Klassifikationsstufe enthalt, welche vorzugsweise hierarchisch 

ausgefuhrt ist, zur Identifizierung der Oberklasse des Verkehrszeichens, und daB er eine 
zweite Klassifikationsstufe enthalt, welche vorzugsweise hierarchisch organisiert ist, zur 
Identifizierung der Unterklasse des Verkehrszeichens. 

32. Vorrichtung nach einem der Anspruche 29 bis 31, dadurch gekennzeichnet, daB der 
10 in der Informationseinheit beinhaltete Klassifikator so ausgebildet ist, daB er mittels 

♦ 

exemplarischen Lernstichproben zu trainieren ist. 

33. Vorrichtung nach einem der Anspruche 29 bis 32, dadurch gekennzeichnet, daB der 
in der Informationseinheit beinhaltete Klassifikator so ausgebildet ist, daB er auf 
Grundlage eines Vergleichs von DistanzmaBen der ihm gelieferten Merkmalsdaten von 

15 den in der Speichereinheit gespeicherten klassentypischen Merkmalsdatensatzen 
entscheidet. 

34. Vorrichtung nach einem der Anspruche 29 bis 33, dadurch gekennzeichnet, daB die 
Anzeigeeinheit so ausgebildet ist, daB ein im Rahmen der Analyse der Bilddaten des 

20 Bildsensors an dem Verkehrszeichen angebrachtes Zusatzschild dargestellt werden 
kann, wenn bei der Klassifikation zumindest die Oberklasse des Verkehrszeichens mit 
, hoher Wahrscheinlichkeit erkannt wurde. 

35. Verfahren nach einem der Anspruche 29 bis 33 dadurch gekennzeichnet, daB die 
Anzeigeeinheit so ausgebildet ist, daB sie fur den Fall, daB im Rahmen der Klassifikation 

25 zumindest die Oberklasse eines Verkehrszeichens erkannt wurde, diejenigen Bilddaten 
anzeigt, die von dem Bereich aus der Umgebung des Verkehrszeichens stammen, in 
welchem sich typischerweise ein Zusatzschild befindet. 
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36. Verfahren nach einem der Anspruche 34 oder 35, dadurch gekennzeichnet, daB in 
der Anzeigeeinheit ein Klassifikator ausgebildet ist, welcher offensichtlich nutzlose 
Bildinformation verwirft und nicht zur Anzeige bringt. 

5 37. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
da(3 die Vorrichtung zusatzliche einen Komparator enthalt, welcher aus einer Abfolge von 
Bildern, die wahrend der Vorbeibewegung des Fahrzeugs an einem als Verkehrszeichen 
erkannten Objekt aufgenommen werden, jeweils das beste Bild ausgewahlt, wobei der 
Komparator die Auswahl anhand definierter Qualitatskriterien durchgefuhrt, 
10 vorzugsweise anhand von GroBe und/oder Kontrast und/oder Helligkeit des als 
Verkehrszeichen erkannten Objektes, und so die Informationsverarbeitungseinheit. 
veranlaBt nur das auf Grundlage dieses besten Bildes generierte synthetische Bild eines 
Verkehrszeichens, in der Speichereinheit zu speichern und auf der Anzeigeeinheit 
anzuzeigen. 

15 

38. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB das Element zur Kombination von Bilddaten bei der Generierung eines synthetischen 
Bildes eines Verkehrszeichen, diejenigen Bilddaten, die den ursprunglich vom Bildsensor 
stammenden Bilddaten entsprechen, hinsichtlich einer besseren Erkennbarkeit 
2 0 aufbereitet, derart daB sie 

a) groBennormiert werden und/oder 

b) kontrastnormiert werden und/oder 

c) helligkeitsnormiert werden und/oder 

d) farbtonnormiert werden. 

25 



WO 00/30056 



PCT/DE99/03628 



-25- 

39. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB die Vorrichtung zusatzlich eine Positionsbestimmungseinheit enthalt, die Position 
eines als Verkehrszeichen erkannten Objektes bestimmt. 

5 40. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB in der Speichereinheit ein Programm gespeichert ist zur Anwendung einer 
Entscheidungslogik mittels derer die Informationsverarbeitungseinheit die 
Anzeigeeinheit derart steuert, daB sie das synthetische Bild eines Verkehrszeichens 
solange anzeigt, bis ein neues Objekt als Verkehrszeichen erkannt wird, und dessen 
10 vereinfachte Darstellung die vorherige ersetzt. 

41. Vorrichtung nach einem der vorhergehenden Anspruche, die Anzeigeeinheit 
zusatzlich eine Einstelleinheit enthalt, mittels welcher die maximale Dauer der Anzeige 
des synthetischen Bildes eines Verkehrszeichens eingestellt wird. 

15 42. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB in der Speichereinheit ein Programm gespeichert ist, welches die zuruckgelegte 
Wegstrecke zwischen der aktuellen Fahrzeugposition und der Position des zuletzt 
erkannten Verkehrszeichens einer bestimmten Klasse von Verkehrszeichen mit Hilfe von 
mit an die Informationseinheit gekoppelten Einrichtungen oder Sensoren, ermittelt. 

2 0 43. Vorrichtung nach Anspruch 42, dadurch gekennzeichnet, daB zur Ermittlung der 
Wegstrecke ein Fahrzeugtachometer oder ein Radsensor zur Ermittlung der 
zuruckgelegten Strecke und ein Zeitgeber an die Informationseinheit gekoppelt sind. 

44. Vorrichtung nach einem der Anspruche 42 und 43, dadurch gekennzeichnet, daB 
die an die Informationseinheit zur Ermittlung der Wegstrecke gekoppelten Einrichtungen 

25 und Sensoren uber einen Fahrzeugdatenbus gekoppelt sihd. 

45. Vorrichtung nach einem der Vorhergehenden Anspruche, dadurch gekennzeichnet, 
in der Speichereinheit ein Programm gespeichert ist zur Anwendung einer 
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Entscheidungslogik mittels derer die Informationsverarbeitungseinheit die 
Anzeigeeinheit derart steuert, daB sie das synthetische Bild eines Verkehrszeichens 
solange anzeigt, bis ein neues Objekt als Verkehrszeichen erkannt wird, vorzugsweise 
als Verkehrszeichen der gleichen oder einer korrespondierenden Klasse erkannt wird, 
5 und dessen vereinfachte Darstellung die vorherige ersetzt. 

46. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB die Anzeigeeinheit zusatzlich einen akustischen Signalgeber enthalt, welcher, sobald 
ein Objekt als Verkehrszeichen erkannt wurde, ein vorzugsweise klassenspezifisches, 

10 akustisches Signal ausgibt. 

47. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
daB der digitale Bildsensor eine oder mehrere, vorzugsweise monochrome, 
Digitalkameras enthalt, die derart angeordnet sind, daB ihr gemeinsames Blickfeld 

15 ausreicht, urn alle fur den Fahrweg eines Fahrzeuges relevanten Verkehrszeichen 
unabhangig von der horizontalen und/oder vertikalen Krummung des Fahrweges zu 
erfassen. 

48. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
2 0 daB das System zur Erkennung und Anzeige von Verkehrszeichen mit einem 

kartenbasierten Navigationssystem und/oder einem Verkehrsinformationssystem 
verbunden ist, um von diesen stammende Informationen auszunutzen. 

49. Verfahren nach Anspruch 48, dadurch gekennzeichnet, daB eine Verbindung (iber 
einen Fahrzeugdatenbus zwischen dem Systems zur Erkennung und Anzeige von 

25 Verkehrszeichen und dem kartenbasierten Navigationssystemen und/oder 
Verkehrsinformationssystemen besteht, 

50. Verfahren nach Anspruch 48 oder 49, dadurch gekennzeichnet, daB das System zur 
Verkehrszeichenerkennung die Fahigkeit aufweist, mit erhohter Leistung zu arbeiten, 
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wenn auf Grundlage von kartenbasierten Informationen bekannt wird, daB das Fahrzeug 
einen Bereich passiert, der bezuglich der Erkennung von Verkehrszeichen problematisch 
ist. 

51. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
5 daB im Gesamtsystem ein Datenspeicher integriert ist, in welchem zusatzlich oder 

erganzend zu eventuell bereits vorhandener Information, die Art und/oder die Position 
und/oder der Zustand und/oder die Sichtbarkeit und/oder die GroBe eines erkannten 
Verkehrszeichens gespeichert werden kann. 

52. Verfahren nach Anspruch 51, dadurch gekennzeichnet, daB die Anzeigeeinheit einen 
10 Signalgeber enthalt, welcher ein akustisches oder optisches Signal ausgibt, wenn sich 

entlang einer bereits einmal befahrenen Wegstecke eine Anderung in Bezug auf die 
Position beziehungsweise das Vorhandensein eines Verkehrszeichens ergibt. 

53. Verfahren nach Anspruch 29, dadurch gekennzeichnet, daB die Informationen des 
kartenbasierten Navigationssystem dazu herangezogen werden, urn die Lange von durch 

. 15 ein Fahrzeug befahrene Streckenabschnitte zu ermitteln. 

54. Vorrichtung nach einem der Anspruche 4 1 bis 43 oder 53, dadurch gekennzeichnet, 
daB in der Speichereinheit ein Programm gespeichert ist zur Anwendung einer 
Entscheidungslogik mittels derer die Informationsverarbeitungseinheit die 
Anzeigeeinheit derart steuert, daB sie das synthetische Bild eines Verkehrszeichens 

20 solange anzeigt, bis eine in der Speichereinheit vorgegebene Wegstrecke zuruckgelegt 
ist, welche vorzugsweise klassenspezifisch ist. 

55. Verwendung eines Verfahrens nach einem der Anspruche 1 bis 28, fur den Betrieb 
einer Erinnerungshilfe fur den Fuhrer eines Fahrzeuges, vorzugsweise fur den Einsatz im 

25 StraBenverkehr. 

56. Verwendung einer Vorrichtung nach einem der Anspruche 29 bis 54, als 
Erinnerungshilfe fur den Fuhrer eines Fahrzeuges, vorzugsweise fur den Einsatz im 
StraBenverkehr. 
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57. Verwendung eines Verfahrens nach einem der Anspruche 15 bis 17, 27 oder 28, zur 
Inspektion von Verkehrswegen, vorzugsweise fur den Einsatz im StraBenverkehr. 

58. Verwendung einer Vorrichtung nach einem der Anspruche 41 bis 43, 53 oder 54, 
zur Inspektion von Verkehrswegen, vorzugsweise fur den Einsatz im StraBenverkehr. 
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